Peut-on évaluer les outils d'acquisition de connaissances à partir de textes ?

National audienceMalgré les années de recul et d'expériences accumulées, il est difficile de se faire une idée claire de l'état d'avancement des recherches en acquisition de connaissances à partir de textes. Le manque de protocoles d'évaluation ne facilite pas la comparaison des résultats. Nous développons, dans cet article, la question de l'évaluation des outils d'acquisition de terminologies et d'ontologies en soulignant les princi- pales difficultés et en décrivant nos premières propositions dans ce domaine

Alignment-based Partitioning of Large-scale Ontologies

Ontology alignment is an important task for information integration systems that can make different resources, described by various and heterogeneous ontologies, interoperate. However very large ontologies have been built in some domains such as medicine or agronomy and the challenge now lays in scaling up alignment techniques that often perform complex tasks. In this paper, we propose two partitioning methods which have been designed to take the alignment objective into account in the partitioning process as soon as possible. These methods transform the two ontologies to be aligned into two sets of blocks of a limited size. Furthermore, the elements of the two ontologies that might be aligned are grouped in a minimal set of blocks and the comparison is then enacted upon these blocks. Results of experiments performed by the two methods on various pairs of ontologies are promising

Evaluation des outils terminologiques : enjeux, difficultés et propositions

International audienceCas particulier parmi les tâches de traitement automatique des langues, l'acquisition terminologique n'a guère fait l'objet d'évaluation systématique jusqu'à présent. Les campagnes qui ont eu lieu sont récentes et limitées. Il est cependant nécessaire de conduire des évaluations pour faire le bilan des recherches passées, mesurer les progrès accomplis et les angles morts. Cet article défend l'idée qu'on peut définir des protocoles d'évaluation comparative même pour des tâches complexes comme la terminologie computationnelle. La méthode proposée s'appuie sur une décomposition des outils d'analyse terminologique en fonctionnalités élémentaires ainsi que sur la définition de mesures de précision et de rappel adaptées aux problèmes terminologiques, à savoir la complexité des produits terminologiques, la dépendance aux applications, le rôle de l'interaction avec l'utilisateur et la variabilité des terminologies de référence

Evaluation of Textual Knowledge Acquisition Tools: a Challenging Task

International audienceA large effort has been devoted to the development of textual knowledge acquisition (KA) tools, but it is still difficult to assess the progress that has been made. The lack of well-accepted evaluation protocols and data hinder the comparison of existing tools and the analysis of their advantages and drawbacks. From our own experiments in evaluating terminology and ontology acquisition tools, it appeared that the difficulties and solutions are similar for both tasks. We propose a general approach for the evaluation of textual KA tools that can be instantiated in different ways for various tasks. In this paper, we highlight the major difficulties of KA evaluation, we then present our proposal for the evaluation of terminologies and ontologies acquisition tools and the associated experiments. The proposed protocols take into consideration the specificity of this type of evaluation

Une plate-forme open-source de recherche d'information sémantique

National audienceLes méthodes de RIS visent à s'affranchir des problèmes classiques de synonymie et polysémie via le passage au niveau conceptuel. Elles reposent souvent sur l'utilisation d'une ressource sémantique. La qualité des résultats dépend des fonctionnalités sémantiques mises en place ainsi que de la qualité de la ressource utilisée. Malgré la profusion des propositions, l'apport d'une sémantique explicite reste à prouver. Nous proposons une décomposition des fonctionnalités qui sont communes aux différentes méthodes de RI. Nous présentons ensuite Terrier SIR qui, via la dissociation des modules sémantiques, favorise aussi bien l'implémentation des méthodes de RIS que leurs éventuelles mises à jour ou adaptations. Nous avons effectué des expérimentations pour mettre en évidence l'intérêt d'une telle plate-forme

Evaluating term extraction

International audienceIn contrast with other NLP tasks, only few and limited evaluation challenges have been carried out for terminology acquisition. It is nevertheless important to assess the progress made, the quality and limitations of terminological tools. This paper argues that it is possible to define evaluation protocols for tasks as complex as computational terminology. We focus on the core task of term extraction for which we propose evaluation metrics. We take into account the specificity of computational terminology, the complexity of its outputs, the application, the user's role and the absence of well-established gold standard

Le Web entre norme et anarchie

National audienceLe Web sémantique repose sur des modèles sémantiques (ontologies) qui décrivent des connaissances formalisées et qui permettent d'effectuer des requêtes sémantiques et des raisonnement complexes. Les ontologies sont le fruit d'une conceptualisation et visent à normaliser et désambiguïser le vocabulaire du domaine. Cet effort de conceptualisation et de normalisation suppose une expertise et un consensus sur le domaine en question. La complexité de la mise en place de tels modèles freine l'expansion du Web sémantique à grande échelle. D'un autre côté, l'émergence du Web2.0 propose une alternative à ces modèles sémantiques " lourds " et permet, dans une vision collaborative, de s'appuyer sur des modèles sémantiques de bas niveau et souvent moins rigoureux. Cette vision non contrainte par la normalisation, qui risque d'induire une anarchie, a largement contribué à l'expansion du Web2.0. Ces deux modèles expriment des visions différentes du Web, la première rigoureuse et normative repose sur des connaissances expertes ; la seconde plus spontanée et donc plus anarchique place l'utilisateur au centre. Dans cet exposé, nous nous intéressons à ces deux types de modèles sémantiques qui diffèrent par la nature des connaissances véhiculées ainsi que par la nature des opérations et des requêtes qu'ils supportent

LiteMap: An Ontology Mapping Approach for Mobile Agents' Context-Awareness

Mobile agents' applications have to operate within environments having continuously changing execution conditions that are not easily predictable. They have to dynamically adapt to changes in their context resulting from other's activities and resources variation. To be aware of their execution context, mobile agents require a formal and structured model of the context and a reasoning process for detecting suspect situations. In this work, we use formal ontologies to model the agents' execution context as well as its composing elements. After each agent migration, a reasoning process is carried out upon these ontologies to detect meaningful environmental changes. This reasoning is based on semantic web techniques for mapping ontologies. The output of the mapping process is a set of semantic relations among the ontologies concepts that will be used by the agent to trigger a reconfiguration of its structure according to some adaptation policies